텍스트 벡터화
원-핫 인코딩에서 워드 임베딩까지

작동 방식

1. 단어장(Vocabulary) 생성
   전체 텍스트에서 고유한 단어들을 모두 모아 '단어:고유번호' 형태의 사전을 만듭니다.
2. 정수 인코딩(Indexing)
   단어장의 각 단어에 0부터 시작하는 고유 정수(Index)를 할당합니다.
3. 벡터 변환
   단어장 크기와 동일한 차원의 0으로 채워진 벡터를 생성한 뒤, 해당 단어의 인덱스 위치 값만 1로 변경합니다.

명확한 한계

1. 고차원 / 희소 벡터 (Sparsity)
   단어 수가 3만 개면 벡터의 차원도 3만 차원이 됩니다.
   메모리 낭비가 심하고 계산이 비효율적입니다.
2. 의미 관계 표현 불가
   모든 단어 벡터는 서로 수학적으로 독립적입니다.
   즉, '컴퓨터-노트북'의 관계와 '컴퓨터-사과'의 관계에 아무런 차이가 없습니다.

단어장 및 벡터

단어장 : {'사과':0, '바나나':1, '컴퓨터':2, '노트북':3}

사과   : [1, 0, 0, 0]
컴퓨터 : [0, 0, 1, 0]
노트북 : [0, 0, 0, 1]

문제점

'컴퓨터'와 '노트북' 사이의 거리, 그리고 '컴퓨터'와 '사과' 사이의 거리가 수학적으로 동일합니다.
이는 단어의 의미 관계를 전혀 표현하지 못함을 보여줍니다.

핵심 아이디어

• 분산 표현 (Distributed Representation)
  단어의 의미를 벡터의 여러 차원에 걸쳐 분산시켜 표현합니다.
• 의미적 유사도
  의미가 비슷한 단어들은 벡터 공간상에서 서로 가까운 위치에 존재하게 됩니다.

계산 예시

유사도 계산
cosine_similarity('컴퓨터', '노트북') → 높음 (예: 0.92)
cosine_similarity('컴퓨터', '사과')   → 낮음 (예: 0.15)

관계 유추
vector('왕') - vector('남자') + vector('여자') ≈ vector('여왕')

결과

벡터의 거리와 방향을 통해 '컴퓨터'와 '노트북'이 '사과'보다 훨씬 가깝다는 것을 명확히 알 수 있으며, 단어 간의 추상적인 관계까지 계산할 수 있습니다.